PolyU COMP5511
Концепции искусственного интеллекта
Моделирование последовательностей и Трансформер
Учебные цели
- Сравнение архитектур: Различать RNN, LSTM и архитектуру Трансформера.
- Механизм самовнимания: Объяснить статью «Attention Is All You Need» и механизмы самовнимания.
- Энкодеры и декодеры: Понять роль энкодеров и декодеров в таких моделях, как BERT и GPT.